{T}

关键设计模式:Planning(计划)、Tool Use(使用工具)

相信不少人已经尝试过使用文心一言、讯飞星火等智能对话助手来帮忙完成任务。我们只需简单地输入一个指令,AI 智能体就能给出一个详尽的答案,仿佛一个无所不能的全能助理,这如果让我们回到一年前来看,简直是不可思议。

但你是否有过这样的疑问:当我们给出的任务更加复杂、开放,需要分步骤完成时,AI 智能体是否还能轻松应对?当任务涉及专业领域知识,需要查阅资料时,AI 智能体如何获取所需信息?当任务需要写代码、画图表、分析数据等实际操作时,AI 智能体能否独立完成呢?

目前的 AI 对话大多采用直接的提问-回答模式,面对以上场景还有诸多局限。但如果我们为 AI 智能体装上智能工作流这个大脑,让它们学会制定计划、使用工具,情况将大不相同。

最近,AI 界的大佬吴恩达教授在一次演讲中提出了四种关键的 AI 智能工作流设计模式:Planning(计划)、Tool Use(使用工具)、Reflection(反思)和 Multi-Agent(多智能体协作)。这些模式就像是给 AI 装上了大脑四肢,让它们能够像人类一样思考、规划、使用工具,甚至团队协作!

今天,我们先重点聚焦其中两种最基础也最重要的模式:Planning(计划)和 Tool Use(使用工具)。通过了解这两种模式,你将看到 AI 是如何一步步成长为能够帮我们处理复杂任务的得力助手的。

Planning:让 AI 学会做计划

这里假设一下,如果你想要组织一次生日派对,你会怎么做?大概率是先列一个清单:确定日期和地点、邀请朋友、准备食物和饮料、布置场地、安排活动等等。这个过程,就是我们人类的Planning(计划)能力。

那你是不是觉得,其实 AI 也能学会了这项重要的技能?是的,在 AI 世界里,Planning 就是让 AI 具备拆解任务、制定执行计划的能力。简单来说,就是教会 AI 像人类一样,面对复杂任务时先动脑动手

工作原理

让我们来通过吴恩达演讲中一个具体的例子来理解 AI 是如何进行 Planning 的。以以下图片中的任务为例:生成一个女孩阅读书籍的图像,并描述这个新图像。

  1. 输入任务:AI 接收到指令"生成一个女孩阅读书籍的图像,姿势与示例图中的男孩相同,然后描述这个新图像"。

  2. 分解子任务:AI 将这个复杂任务拆解为几个关键步骤:

    • 分析示例图片中男孩的姿势
    • 基于分析的姿势生成新的图像
    • 描述生成的新图像
  3. 选择执行模型:对于每个子任务,AI 选择最合适的模型或工具:

    • 使用 openpose 模型进行姿势确定
    • 使用 google/vit 模型从姿势生成图像
    • 使用 vit-gpt2 模型将图像转换为文本描述
  4. 执行流程

    • Pose Determination:分析示例图片,识别出男孩的精确姿势。
    • Pose-to-Image:基于识别出的姿势,生成一个女孩以相同姿势阅读书籍的新图像。
    • Image-to-text:分析生成的新图像,创建文字描述,如"一个女孩坐在床上阅读一本书"。
  5. 输出结果:最终,AI 按照这个计划逐步执行任务,输出一个新生成的图像和对应的文字描述。

这个例子展示了 AI 如何通过 Planning 将复杂任务分解为可管理的步骤,并为每个步骤选择最合适的工具或模型。这种方法不仅提高了任务完成的效率和准确性,还增强了 AI 系统的灵活性和适应能力。通过这种模块化的方法,我们可以轻松地替换或升级单个组件,而不需要重建整个系统,从而不断提升 AI 的整体性能。

优势

Planning 模式给 AI 带来了哪些超能力呢?

  1. 解决复杂问题的能力: 通过任务拆解,AI 可以处理更加复杂的问题,不再局限于简单的问答。

  2. 提高输出质量: 有了规划,AI 的输出更加有条理,质量也更高。

  3. 增强适应性: AI 可以根据不同任务制定不同的计划,增强了适应各种场景的能力。

非常好,让我们继续深入探讨文章提纲的第二部分:Tool Use(使用工具)模式。我会保持通俗易懂的风格,并结合实际案例来解释这个概念。

Tool Use:让 AI 智能体工欲善其事,必先利其器

还记得哆啦 A 梦的百宝袋吗?无论遇到什么问题,哆啦 A 梦总能从袋子里掏出恰到好处的道具来解决。现在,想象一下如果给 AI 也配上这样一个百宝袋,会怎么样?这就是 Tool Use 模式的妙处所在。

Tool Use,顾名思义,就是让 AI 学会使用各种工具的能力。在 AI 的世界里,这些工具可以是搜索引擎、数据库、编程环境,甚至是其他专门的 AI 模型。通过 Tool Use,AI 就像拥有了工具箱,能够与外部世界进行更多互动,大大扩展了自己的能力边界。

常见的 Tool 类型

让我们来看看 AI 的工具箱里都有些什么宝贝:

  1. 搜索引擎:就像我们使用 Google 一样,AI 也可以通过搜索引擎获取最新、最全面的信息。

  2. 知识库:这就像是 AI 的大脑,存储着海量的专业知识和数据。

  3. 代码编译器和运行环境:让 AI 能够编写、测试和运行各种编程语言的代码。

  4. API 接口:允许 AI 调用各种在线服务,比如天气预报、股票行情等。

  5. 图像/语音处理程序:使 AI 能够理解和生成图片、音频等多媒体内容。

  6. 数据分析工具:帮助 AI 处理和分析大量数据,得出有价值的见解。

Tool Use 的优势

Tool Use 模式给 AI 带来了哪些超能力呢?

  1. 知识的时效性:通过使用搜索引擎等工具,AI 可以获取最新信息,不再局限于训练数据的时间范围。

  2. 能力的扩展:每一个新工具都为 AI 开启了新的能力领域,让 AI 逐步成为全能选手

  3. 更强的问题解决能力:结合各种工具,AI 可以处理更复杂、更专业的问题。

  4. 提高准确性:通过查询权威来源,AI 可以提供更准确、更可靠的信息。

  5. 实现眼、耳、手的功能:图像识别、语音处理等工具让 AI 具备了类似人类感官的能力。

Tool Use 模式的意义不仅在于增强 AI 的能力,更重要的是让 AI 能够与现实世界更好地交互。通过使用各种工具,AI 不再是封闭系统中的独行侠,而是能够感知、分析和影响现实世界的智能助手

Planning + Tool Use:AI 的大脑四肢如何协同工作

Planning 和 Tool Use 两种模式各有所长,但只有结合起来,AI 才能发挥最大的作用。接下来,我们将通过一个实际案例来展示 Planning 和 Tool Use 是如何协同工作的。

案例:生成参考别人写作风格的文章

假设你想写一篇模仿某个作家风格的文章,Coze 工作流可以这样规划:

  1. 分析目标作家的写作风格特点
  2. 确定文章主题和大纲
  3. 按照特定风格撰写文章内容
  4. 校对和修改,确保风格一致性

那具体如何用 Coze 的功能对应上呢?来,我们来一个个解释:

  1. 分析目标作家的写作风格特点:

    • Planning:我们先要求用户提供 1 篇目标作家的文章链接,然后分析这些文章的关键词、句式、篇章结构等信息。
    • Tool Use:首先使用一些链接读取插件,分别获取文章内容。然后使用工作流的大模型节点,分析文章的关键词、句式等特点,生成一个风格分析报告和一个对应的新大模型提示词备用。
  2. 确定文章主题和大纲:

    • Planning:要求用户提供文章主题,然后收集相关信息,制定文章大纲。
    • Tool Use:使用相关搜索引擎插件,搜索相关主题的文章,提取关键信息。然后使用工作流的大模型节点,基于这些信息生成文章大纲。
  3. 按照特定风格撰写文章内容:

    • Planning:根据分析结果和大纲,撰写文章内容,保持文章的风格一致。
    • Tool Use:使用大模型节点,根据提示词和大纲,生成符合目标风格的文章内容。

为此我还搭建了一个 Coze 工作流,工作流已发布到工作流商店了,大家有需自取:

www.coze.cn/store/workf…

通过这个案例,我们可以看到 Planning 和 Tool Use 是如何协同工作的。Planning 模式帮助 AI 分析任务、制定计划,Tool Use 模式则让 AI 使用各种工具来执行计划,最终完成任务。这种协同工作方式不仅提高了 AI 的效率和准确性,还增强了 AI 的灵活性和适应能力。

总结

在这篇文章中,我们深入探讨了 AI 发展中的两个重要模式:Planning(规划)和 Tool Use(使用工具)。这两种能力不仅让 AI 变得更加智能,更重要的是让 AI 成为了真正有用的助手。

Planning 赋予了 AI 思考规划的能力。就像一个经验丰富的项目经理,AI 现在可以将复杂的任务拆解成有序的步骤,制定出清晰可行的计划。无论是安排旅行还是管理复杂项目,AI 都能够考虑周全,为我们提供全面的解决方案。

Tool Use 则给了 AI 工具。通过使用各种外部工具,AI 突破了知识的局限,能够获取最新信息,处理各种类型的数据,甚至能够。这让 AI 不再是封闭的信息孤岛,而是能够与现实世界实时互动的智能助手。